[セッションレポート][ANA111] 生成系AIによってBigQueryユーザーの開発がどのように変わるのか #GoolgeCloudNext

データアナリティクス事業本部 機械学習チームの鈴木です。

Google Cloud Next '23のセッション『Generative AI powered use cases for data engineers』を視聴したので感想をまとめました。

セッション概要

Earlier this year, we announced Duet AI in Google Cloud, a new generative AI-powered collaborator, to help cloud users of all skill levels solve their everyday work challenges. In this session, we’ll showcase new advancements and technologies that further AI-driven innovations, enabling data practitioners to accelerate code creation and data insights.

※ Google Cloud Next '23セッションページより引用

Google Cloud Platformのデータ・AIサービスや、新しく発表された生成系AI搭載の支援機能のDuet AI in BigQueryが、どのようにデータを活用する開発者の開発を支援するのかご紹介頂きました。

セッション発表自体は3つのパートに分かれていました。

最初の『01 The case for AI』では生成系AIを業務に導入する必要性について、『02 Google's Data & AI Cloud』ではGoogle Cloud Platformでのデータ・AI関連のサービスについて紹介がありました。『03 Demo: AI experiences in BigQuery』ではDuet AI in BigQueryやBigQueryからのLLMの利用例を通して、LLMの登場がBigQueryを使った開発業務をどのように変えるのか、デモを通して実感できました。

ポイントと感じた点

セッションではGen AI StudioやVertex AI、BigQuery Omniなどへの言及もありましたが、セッション名にあるように、特に生成系AIがどのようにデータエンジニアを支援してくれるのかの例として、新しく発表されたBigQuery関連の機能がポイントと感じたため、そちらを中心に取り上げます。

Duet AI in BigQueryについて

Google Cloud Next’23のOpening Keynoteで発表されたプレビュー提供の機能となります。Google Workspaces向けのDuet AIは5月のGoogle I/Oで発表されプレビュー提供されていましたが、この機能は一般提供が開始となり、その他のサービスに対するDuet AIが新しくプレビュー提供されました。

イメージビデオではDuet AIに質問することで、BigQueryに関する操作のQAをLLMにできることが説明されており、イメージが掴みやすかったです。

Google Cloudの機能に詳しいLLMがコンソールに控えてくれているのは、機能を使う上では非常に心強いですね。

Duet AI in BigQueryの使用感

以下の３パターンについて使用イメージの紹介がありました。

• Google Cloudのコンソールからの質問機能
• BigQueryのエディタ上でのSQLの解説
• BigQueryのエディタ上でのSQL生成

Google Cloudのコンソールからの質問機能

コンソールよりDuet AIを起動して質問をすることで、BigQueryに関しての回答を適切に回答してくれました。UIからそのままチャット形式で質問できるので使いやすそうです。

BigQueryのエディタ上でのSQLの解説

エディタ上で、入力したSQLがどんな処理なのかDuet AIに説明してもらうことができるようです。

実際のところ、新しく改修をアサインされた既存のSQLや、経験豊富な優しい同僚が書いてくれたSQLをみたときに、「ぜ、全然わからん……」と思ったことは誰しもがあると思います。（少なくとも私はあります。）

そういうときに、自然言語でDuet AIが内容を解説してくれるのは理解の助けになりそうですね。

BigQueryのエディタ上でのSQL生成

BigQueryのエディタでDuet AIにSQLを生成してもらうデモでした。

あらかじめARIMA_PLUSモデルをBQMLで作成しておいた状態で、「# write a query to get a forecast of 30 iterations from the model」と打ち込むことで、推論用のSQLを生成できていることが分かります。

この例ではBQMLを意識していますが、普通に集計用のSQLを書くために、質問から随時SQLを生成してくれるなら非常に作業が捗ると思いました。

BigQueryからLLMの使用

BigQueryを中心にGCSや各種AIサービスと連携して、音声ファイルの要約を行う例も紹介頂きました。

以下は、GCSに配置した.wavファイルからテキストを書き起こし、ML.GENERATE_TEXT関数を使ってLLMに要約させるSQL例です。

このようなことがしたい場合は、実行制御用のパイプラインを使うことが普通だったと思いますが、BigQueryから行うことで、SQLで一連の処理が表現できますし、パイプラインの管理も不要になるので、非常に開発・運用が楽になるように感じました。

補足

Duet AI in BigQueryのガイドについて

早速以下にガイドがありましたのでご覧ください。利用イメージと利用申請方法（記事執筆時点でプレビュー提供のため）の記載があります。

最後に

Google Cloud Next '23のセッション『Generative AI powered use cases for data engineers』を視聴した感想・まとめでした。

BigQueryはもともと非常に使いやすいインターフェースをしている印象でしたが、Duet AI in BigQueryにより格段に使いやすさが強化されたように感じました。私もデータの処理でBigQueryはよく利用していますが、なにか分からないことがあれば今後はDuet AIに聞けば教えてもらえるし、SQLの解説や生成もしてもらえるので、明らかに作業が捗ると思います……!

SQLからのLLM利用の実例も見ることができて参考になりました。BigQueryを中心にGCSのオブジェクトを変換してLLMで処理することができるので、それ用のパイプラインを作る必要もなくなり、開発のしやすさもそうですが、特に運用・保守の観点ですごく楽になる印象を持ちました。スケジュール実行をしたい場合はCloud ComposerやスケジュールクエリなどからSQLを実行すればよさそうです。